Java知识体系

Appearance

消息队列_RocketMQ_安装与使用

手动部署方式 ​

下载二进制文件 ​

下载地址： https://rocketmq.apache.org/download/

这里下载 4.8.0 版本：Release Notes - Apache RocketMQ - Version 4.8.0 | RocketMQ

选择Binary 进行下载。

image.png

NameServer

注册中心，用于管理 Broker

Broker

用来保持 Topic 主题的信息，接收生产者的消息。

搭建可视化监控平台 ​

rocketmq-dashboard是RocketMQ的一个拓展开源项目，可以对MQ进行可视化监控。

下载地址： https://github.com/apache/rocketmq-dashboard

服务启动 ​

RocketMQ 需要 JDK 1.8+。确保服务器已安装合适的 JDK

  • 1、配置 JDK 环境
  • 2、启动 NameServer
  • 3、启动 Broker
  • 4、RocketMQ Console 管理界面（可选）

docker 方式安装 ​

参考： https://blog.csdn.net/qq_43600166/article/details/136187969

拉取最新镜像

docker pull rocketmqinc/rocketmq

nameserver ​

创建 nameserver 数据存储目录

rocketMQ 分为nameserver和broker两部分，在启动时应该先启动nameserver，因此我们现在先创建nameserver的日志和数据存放目录。这个目录可由我们自己定义路径，这里我将其放到data路径下:

mkdir -p /data/namesrv/logs /data/namesrv/store

logs:是nameserver的日志目录，store:是nameserver的数据目录

构建namesrv容器并启动

挂载日志和数据路径，执行以下命令启动nameserver

docker run -d \
  --restart=always \
  --name rmqnamesrv \
  -p 9876:9876 \
  -v /data/namesrv/logs:/root/logs \
  -v /data/namesrv/store:/root/store \
  -e "MAX_POSSIBLE_HEAP=100000000" \
  rocketmqinc/rocketmq \
  sh mqnamesrv

broker ​

创建broker数据存储路径

在操作这步之前，我们已经将nameserver启动成功，则接下来我们将要为broker创建数据挂载目录和配置文件，以确保broker能够成功启动。

mkdir -p /data/broker/logs  /data/broker/store /data/broker/conf

修改配置文件

cd /data/broker/conf
vi broker.conf

broker.conf

将信息复制到broker.conf文件中，注意修改 brokerIP1，改为您服务器的IP地址！！！！请注意修改 namesrvAddr，改为您n ameserver 的IP地址！！！！

# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements.  See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
#  Unless required by applicable law or agreed to in writing, software
#  distributed under the License is distributed on an "AS IS" BASIS,
#  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
#  See the License for the specific language governing permissions and
#  limitations under the License.


# 所属集群名字
brokerClusterName=DefaultCluster
# broker 名字，注意此处不同的配置文件填写的不一样，如果在 broker-a.properties 使用: broker-a,
# 在 broker-b.properties 使用: broker-b
brokerName=broker-a
# 0 表示 Master，> 0 表示 Slave
brokerId=0
# nameServer地址，分号分割
namesrvAddr=rmqserver01:9876
# 启动IP,如果 docker 报 com.alibaba.rocketmq.remoting.exception.RemotingConnectException: connect to <192.168.0.120:10909> failed
# 解决方式1 加上一句 producer.setVipChannelEnabled(false);，解决方式2 brokerIP1 设置宿主机IP，不要使用docker 内部IP
#producer.setVipChannelEnabled=false
brokerIP1=192.168.101.220

# 在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
defaultTopicQueueNums=4
# 是否允许 Broker 自动创建 Topic，建议线下开启，线上关闭 ！！！这里仔细看是 false，false，false
autoCreateTopicEnable=true
# 是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
autoCreateSubscriptionGroup=true
# Broker 对外服务的监听端口
listenPort=10911
# 删除文件时间点，默认凌晨4点
deleteWhen=04
# 文件保留时间，默认48小时
fileReservedTime=120
# commitLog 每个文件的大小默认1G
mapedFileSizeCommitLog=1073741824
# ConsumeQueue 每个文件默认存 30W 条，根据业务情况调整
mapedFileSizeConsumeQueue=300000
# destroyMapedFileIntervalForcibly=120000
# redeleteHangedFileInterval=120000
# 检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
# 存储路径
# storePathRootDir=/home/ztztdata/rocketmq-all-4.1.0-incubating/store
# commitLog 存储路径
# storePathCommitLog=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/commitlog
# 消费队列存储
# storePathConsumeQueue=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/consumequeue
# 消息索引存储路径
# storePathIndex=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/index
# checkpoint 文件存储路径
# storeCheckpoint=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/checkpoint
# abort 文件存储路径
# abortFile=/home/ztztdata/rocketmq-all-4.1.0-incubating/store/abort
# 限制的消息大小
maxMessageSize=65536
# flushCommitLogLeastPages=4
# flushConsumeQueueLeastPages=2
# flushCommitLogThoroughInterval=10000
# flushConsumeQueueThoroughInterval=60000
# Broker 的角色
# - ASYNC_MASTER 异步复制Master
# - SYNC_MASTER 同步双写Master
# - SLAVE
brokerRole=ASYNC_MASTER
# 刷盘方式
# - ASYNC_FLUSH 异步刷盘
# - SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
# 发消息线程池数量
# sendMessageThreadPoolNums=128
# 拉消息线程池数量
# pullMessageThreadPoolNums=128

刚刚我们已经创建了broker的挂载目录和配置文件，此时准备工作就已经完成，可以执行一下命令启动broker容器：

docker run -d \
  --restart=always \
  --name rmqbroker01 \
  --link rmqnamesrv:namesrv \
  -p 10911:10911 \
  -p 10909:10909 \
  -v /data/broker/logs:/root/logs \
  -v /data/broker/store:/root/store \
  -v /data/broker/conf/broker.conf:/opt/rocketmq-4.4.0/conf/broker.conf \
  -e "NAMESRV_ADDR=192.168.31.196:9876" \
  -e "MAX_POSSIBLE_HEAP=200000000" \
  rocketmqinc/rocketmq \
  sh mqbroker -c /opt/rocketmq-4.4.0/conf/broker.conf
  • -e “NAMESRV_ADDR=namesrv:9876” 指定namesrv的地址为本机namesrv的ip地址:9876

rocketmq-console可视化界面 ​

进行拉取操作

#拉取操作
docker pull pangliang/rocketmq-console-ng

#构建并启动
docker run -d \
  --restart=always \
  --name rmqadmin \
  -e "JAVA_OPTS=-Drocketmq.namesrv.addr=192.168.31.196:9876 \
             -Dcom.rocketmq.sendMessageWithVIPChannel=false \
             -Duser.timezone='Asia/Shanghai'" \
  -v /etc/localtime:/etc/localtime \
  -p 9999:8080 \
  pangliang/rocketmq-console-ng

👆 将信息Drocketmq.namesrv.addr后面的IP地址改为您的nameserver IP地址！！！Drocketmq.namesrv.addr后面的IP地址改为您的nameserver IP地址！！！

通过访问9999端口查看rocketmq-console是否启动成功

连接有点问题

主要的控制台报错日志

[2024-04-18 22:16:21.035] ERROR op=global_exception_handler_print_error
org.apache.rocketmq.console.exception.ServiceException: This date have't data!
[2024-04-18 22:16:31.707]  INFO closeChannel: close the connection to remote address[] result: true
[2024-04-18 22:16:31.724] ERROR Unexpected error occurred in scheduled task.
java.lang.RuntimeException: org.apache.rocketmq.remoting.exception.RemotingConnectException: connect to <null> failed

第一个 This date have't data! 改一下服务器日期

# 查看日期
date
# 时间同步：
$ yum install ntpdate -y
$ ntpdate time.windows.com

第二个报错参考这个： https://blog.csdn.net/bwp3830201/article/details/125682825 （阿里云服务本身安全策略问题）

这里实际操作是将虚拟机的防火墙关闭了，并进行了重启操作

关闭防火墙：
$ systemctl stop firewalld
$ systemctl disable firewalld

参考